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Рассмотрены преимущества и недостатки тестовой технологии контроля знаний. Приведены результаты основных этапов её разра- 
ботки и экспериментального использования для проведения экзаменов по химии, указаны направления её дальнейшего развития. 


В сентябре 2003 г. Министр образования России 
подписал Болонскую декларацию, которая провоз- 
глашает объединение усилий Европейских стран в 
создании единого образовательного пространства, 
основанного на общих принципах: двухступенча- 
тое высшее образование, система зачётных единиц 
(кредитов) для количественного учёта получаемого 
образования, разработка взаимопризнаваемых ме- 
тодов проверки качества образования [1]. 

Взаимопризнаваемым методом оценки каче- 
ства образования является тестовый метод. Тести- 
рование широко применяется в странах Европы и 
Америки. В США тестирование проводят несколь- 
ко компаний, самая крупная из них - Служба об- 
разовательного тестирования ЕТ8 ( Есіісаііопаі Тез- 
Ііп§ 8егѵізе), которая существует с 1947 г. Она вы- 
полняет заявки образовательных учреждений, пра- 
вительственных органов и отдельных лиц в 
181 стране, проводит ежегодно более 12 млн тести- 
рований, имеет более 60 патентов на различные 
устройства и технологии тестирования [2]. 

Масштабное применение тестирования в Рос- 
сии началось в 90-х гг. прошлого столетия: сначала 
это было централизованное тестирование, а затем 
единый государственный экзамен для учащихся 
школ и гимназий. Сейчас разработкой тестовых 
технологий контроля качества обучения занимают- 
ся практически все университеты России, этому 
вопросу посвящено множество публикаций, он об- 
суждается на многих научно-методических и науч- 
но-практических конференциях. 


Критика классической формы контроля объяс- 
няется тем, что она не объективна. Она не может 
быть объективной потому, что качество продукции 
(знания студентов) контролирует производитель 
этой продукции (преподаватель). Известный в За- 
падной Европе теоретик и практик в области инже- 
нерной педагогики А. Мелицинек считает, что при 
контроле результатов обучения с помощью тради- 
ционного экзамена мы получаем в худшем случае 
субъективный результат, лучшем - относительный, 
но никак не объективно-абсолютный [3]. 

Субъективным результат экзамена бывает тогда, 
когда преподаватель выставляет оценку с учетом 
факторов, которые не имеют прямого отношения к 
знаниям, умениям и навыкам контролируемого. На- 
пример, преподаватель ставит более высокую оцен- 
ку прилежному студенту с меньшими способностя- 
ми и поверхностными знаниями, чем более способ- 
ному, но менее прилежному студенту. По-видимому, 
преподаватель преследует воспитательную цель: за- 
ниженная оценка способному, но не прилежному 
студенту, возможно в дальнейшем приведет к улуч- 
шению его результатов. Такой подход можно понять 
и даже оправдать, но как можно понять и оправдать 
тех преподавателей, которые завышают оценку сту- 
дентам, которые отвлекались на соревнования, за 
которых просят друзья, родители, деканат? 

Относительным результат экзамена бывает тог- 
да, когда преподаватель заранее убежден в том, что 
существует «естественное» распределение результа- 
та: очень хороших результатов может добиться 
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только небольшая часть студентов, небольшая часть 
студентов непременно будет иметь плохой резуль- 
тат, а большая часть студентов будет иметь средний 
результат. Многие преподаватели убеждены, что от- 
личных оценок в студенческой группе численно- 
стью 20-25 чел. должно быть не более двух-трёх, 
неудовлетворительных - столько же, хороших - 
шесть-восемь, а остальные должны получить оцен- 
ку «удовлетворительно». Если распределение оце- 
нок заметно выходит за рамки «естественного», то 
преподаватель изменяет содержание экзамена- 
ционных билетов, с тем чтобы результаты экзамена 
примерно соответствовали этому распределению. 
Этот подход имеет следующие недостатки. 

1 . Большая часть студентов вырабатывает мнение , 
что они не смогут полностью освоить дисци- 
плину и иметь оценку «отлично»; такие студен- 
ты учатся без особого напряжения, работают не 
в полную силу. 

2. Менее способные студенты теряют активность: 
зачем «напрягаться», если преподаватель все 
равно поставит «удовлетворительно». 

3. Невозможно сравнивать показатели разных пре- 
подавателей, групп, факультетов, потоков, вузов. 
Относительный подход к экзаменационной 

оценке приводит к огромным различиям в органи- 
зации и проведении самого экзамена: устный ответ 
без билета, устный после подготовки по билету, 
письменный по билету с последующим собеседова- 
нием или без него, экзамен в форме доклада, авто- 
матическая оценка по рейтингу и т.д. Сильно раз- 
личается и время проведения экзамена: одни пре- 
подаватели на группу студентов затрачивают три- 
четыре часа, другие - целый день. 

Проанализировав экзаменационные ведомости 
семестровых экзаменов по химии машинострои- 
тельного факультета и института нефтегазодобычи, 
мы не обнаружили в них особых отличий: процент 
качественной и количественной успеваемости при- 
мерно одинаков. Хотя конкурс при поступлении 
отличается значительно. Это свидетельствует о 
значительной доле субъективизма преподавателей 
при выставлении экзаменационных оценок. 

На этом фоне тестовая технология контроля 
знаний обладает многими преимуществами. 

1. Тест является объёмным инструментом измере- 
ния знаний, так как проверяются знания и уме- 
ния по всем темам дисциплины, а не отдельные 
фрагменты. 

2. Тест является мягким инструментом измерения 
знаний, т.к. стандартизованная процедура про- 
ведения контроля и автоматизированная про- 
верка результатов обеспечивают равные усло- 
вия и единые критерии оценивания для всех эк- 
заменуемых. 

3. Результат контроля объективен, потому что от- 
вет экзаменуемого сравнивается с эталоном, и 
отсутствуют субъективные факторы, влияющие 
на оценку. 


4. Уменьшается физическая и психологическая 

нагрузка на экзаменатора. 

5. Технология тестирования эффективна с эконо- 
мической точки зрения. 

Следует иметь в виду и некоторые недостатки 
тестовой формы контроля знаний, на которые 
обоснованно обращается внимание в некоторых 
публикациях. Отсутствие непосредственного кон- 
такта между экзаменатором и экзаменуемым, с од- 
ной стороны, обеспечивает объективность контро- 
ля, но, с другой стороны, повышает вероятность 
влияния на результат случайных факторов. Напри- 
мер, невозможно учесть случайные ошибки, вы- 
званные невниманием или неправильным понима- 
нием задания [4] . 

В нашем университете разработкой и исследо- 
ваниями тестовой технологии проведения экзаме- 
на по дисциплине «Химия», которую изучают сту- 
денты общетехнических (нехимических) направле- 
ний и специальностей, занимаются совместно ин- 
ститут инженерной педагогики и обеспечивающая 
кафедра общей и неорганической химии. Работа 
проводится с 2003 г. как педагогический экспери- 
мент в рамках Комплексной программы развития 
университета по направлению «Совершенствова- 
ние образовательной деятельности». За это время 
пройдены полностью или частично все этапы соз- 
дания научно-обоснованного теста [5]: 

1) планирование, 2) составление предтестовых 
заданий, 3) проведение апробационного тестиро- 
вания, 4) коррекция заданий. 

Главная проблема, которая решается на этапе 
планирования - определение общего подхода к со- 
ставлению тестовых заданий: нормативно-ориенти- 
рованный или критериально-ориентированный [6]. 

Целью нормативно-ориентированного тестирова- 
ния является определение места контролируемого в 
общей выборке (среди всех) тестируемых. Такой 
подход применяется в едином государственном эк- 
замене, по результатам которого производится ран- 
жирование учащихся по конкретной дисциплине на 
основании результатов тестирования по всей стране. 
Особенность нормативно-ориентированных тестов 
состоит в том, что в них отбираются задания (вопро- 
сы), обеспечивающие максимальное разнообразие в 
индивидуальных оценках. Преобладающей формой 
заданий при этом являются закрытые задания с вы- 
бором ответа, при помощи которых проверяется, в 
основном, репродуктивный уровень знаний. 

Мы отказались от нормативно-ориентирован- 
ного подхода в пользу критериально-ориентирован- 
ного, в котором проверяется соответствие знаний 
определённым критериям. Такие критерии заложе- 
ны в Государственных образовательных стандартах, 
образовательном стандарте ТПУ, примерной про- 
грамме Научно-методического совета МО РФ по 
химии [7], в рабочих программах и учебно-методи- 
ческом комплексе обеспечивающей кафедры [8], а 
также в учебниках и учебных пособиях с рекомен- 
дательным грифом, изданных в последние годы 
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[9-13]. На основе анализа этих материалов соста- 
влен кодификатор дисциплины. 

Кодификатор состоит из 65 элементов содержа- 
ния по 12 темам дисциплины «Химия», которые 
изучаются студентами всех направлений и спе- 
циальностей. 

1 . Состав вещества и химические реакции. 

2. Классификация и номенклатура неорганиче- 
ских соединений. 

3. Строение атома. Периодический закон и Пе- 
риодическая система химических элементов 
Д.И. Менделеева. 

4. Химическая связь и строение вещества. 

5. Основы химической термодинамики. 

6. Химическое равновесие. 

7. Скорость химических реакций. 

8. Способы выражения концентрации растворов. 

9. Свойства растворов неэлектролитов и электро- 
литов. 

10. Ионообменные реакции в растворах электролитов. 

11. Окислительно-восстановительные реакции. 

12. Электрохимические процессы. 

В соответствии с кодификатором сформирован 
банк экзаменационных заданий (их более 400), 
определено содержание экзаменационного билета- 
теста (он состоит из 12 заданий - по одному на каж- 
дую тему) и подготовлены условия формирования 
тестов, обладающих содержательной валидностью. 

Разработанные нами задания составлены таким 
образом, что выполнить их можно при понимании 
сущности химических процессов, знании химиче- 
ских законов и применении их в новой нестандарт- 
ной ситуации. Решение задания предполагает вве- 
дение в бланк двух ответов, независящих друг от 
друга, но связанных по смыслу решения [14]. Вы- 
полнение таких заданий отражает уровень компе- 
тентности студента, возможность исполнения дей- 
ствий различного уровня сложности: 

- называть химические вещества, определять 
признаки классификации веществ и типы хи- 
мических реакций; 

- составлять электронные формулы атомов, хи- 
мические формулы веществ, уравнения хими- 
ческих реакций; 

- характеризовать свойства химических элемен- 
тов и веществ, объяснять закономерности изме- 
нения этих свойств; 

- объяснять закономерности протекания химиче- 
ских процессов: закономерности выделения и 
поглощения теплоты, направления самопроиз- 
вольного протекания реакций, направления 
смещения химического равновесия, процессов 
окисления-восстановления , электролитической 
диссоциации, гидролиза, электролиза и др.; 

- проводить расчёты по химическим формулам и 
уравнениям с применением законов химии. 


Каждая из категорий действий реализуется на 
предметном материале. Например, требованию «Со- 
ставлять уравнения реакций» соответствует задание 
«Подберите коэффициенты в окислительно-восста- 
новительной реакции ...», требованию «Характери- 
зовать свойства веществ и объяснять закономерно- 
сти изменения этих свойств» - задание «Расположи- 
те в прядке усиления кислотных свойств формулы 
веществ ...», требованию «Проводить расчёты по хи- 
мическим формулам и уравнениям» - задание 
«Определите тепловой эффект реакции ...» и т.д. 

При разработке заданий мы исходили из опыта 
составления экзаменационных билетов для обычных 
письменных экзаменов. Выполнение таких заданий 
предусматривает включение мыслительной деятель- 
ности экзаменуемого на базе конкретного предмета. 
Задания можно выполнить при условии, что экзаме- 
нуемый пользуется знанием фундаментальных пред- 
ставлений и закономерностей, без которых полно- 
ценное изучение дисциплины невозможно. Поэтому 
задания, в основном, открытого типа (студент само- 
стоятельно указывает ответ), а также на установле- 
ние соответствий и последовательностей согласно 
изученным закономерностям химии. 

Экзамен по новой технологии проведен в зим- 
ней и весенней сессиях 2004 г. и зимней сессии 
2005 г., на которых проэкзаменовано 1438 студен- 
тов двух институтов - электротехнического и гео- 
логии и нефтегазового дела и пяти факультетов - 
электрофизического, машиностроительного, авто- 
матики и вычислительной техники, теплоэнерге- 
тического, инженерно-экономического. Экспери- 
мент не распространяется на студентов химических 
направлений и специальностей химико-технологи- 
ческого и физико-технического факультетов, т.к. с 
помощью тестовой формы контроля знаний невоз- 
можно проверить глубинное понимание предмета 
и овладение соответствующим стилем мышления, 
что необходимо этим студентам для успешного 
изучения и освоения последующих химических, 
технологических и специальных дисциплин. 

Экзамен проводится в один и тот же день в 
больших поточных аудиториях. Распределение сту- 
дентов по отдельным рабочим местам и контроль 
независимых наблюдателей обеспечивают невоз- 
можность взаимодействия экзаменуемых между 
собой и использования несанкционированных ма- 
териалов. Специально созданная компьютерная 
программа (ПОРТ - программа обработки резуль- 
татов тестирования) из имеющегося банка заданий 
формирует для каждого студента индивидуальный 
экзаменационный билет таким образом, что в нём 
содержится задание по каждой из 12 тем кодифика- 
тора. Для введения ответов в билете предусмотре- 
ны специальные «окна». Правильное выполнение 
одного подзадания оценивается одним баллом, 
обоих - двумя, максимальный результат выполне- 
ния экзаменационной работы - 24 балла. Сразу же 
по окончании экзамена ответы переносятся в про- 
грамму, обрабатываются и представляются в виде 
таблиц (табл. 2) и гистограмм (рисунок). 
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Таблица 2. Результаты экзамена по химии в группе 2630 
ИГНД 8 января 2005 г. (в баллах) 


Сту- 

дент 

| Номера тем 

Сумма 

баллов 

Оцен- 

ка 

1 

2 

3 

4 

5 

6 

7 

8 
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11 
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2 
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2 
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2 

21 
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2 
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1 
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2 
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2 

1 
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~т 
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2 
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Рисунок. Результаты экзамена студентов электротехническо- 
го института ТПУ в зимней и весенней сессиях 
2003-2004 уч. г. 

Результаты экзамена передаются лекторам по- 
токов, которые пересчитывают их в рейтинговые 
показатели и выставляют окончательные оценки в 
соответствии с нормами рейтинговой системы. 

По желанию любого студента проводится об- 
суждение его работы, собеседование с претенден- 
тами на отличные оценки проводится в обязатель- 
ном порядке. При несогласии с экзаменационной 
оценкой работа передаётся в апелляционную ко- 
миссию. Студенты, получившие неудовлетвори- 
тельную оценку, сдают экзамен повторно по таким 
же правилам, но по другим вариантам экзамена- 
ционного билета. 

Кроме индивидуальных и групповых результа- 
тов экзамена, программа ПОРТ проводит расчёт 
обобщающих показателей, необходимых для упра- 
вления учебным процессом. Вычисляются резуль- 
таты успеваемости по факультетам и университету. 
В табл. 3 приведены результаты экзамена в целом 
по вузу, а на рисунке - по электротехническому 
институту зимой и весной 2004 г., из которых видно 
заметное уменьшение неудовлетворительных и 
увеличение хороших и отличных оценок в весен- 
ней сессии по сравнению с зимней. По-видимому, 
это связано с адаптацией студентов к вузовской си- 


стеме обучения и контроля, а также с повышением 
познавательной активности и ответственности сту- 
дентов перед экзаменом по объективной системе 
оценивания знаний. 


Таблица 3. Результаты экзамена по химии в ТПУ в зимней и 
весенней сессиях 2003-2004 уч. г. 


Оценка 

Зимняя 

Весенняя 

Отл. 

4 

6 

Хор. 

18 

24 

Удовл. 

57 

58 

Неудовл. 

21 

12 


Для составителей важна информация о трудно- 
сти тестовых заданий, показателем которой являет- 
ся их выполнение: чем меньше студентов выполня- 
ют данное задание, тем оно труднее. В этом случае 
необходимо выявлять причину трудности. Если за- 
дание составлено плохо, непонятно для экзаменуе- 
мых, то оно подлежит замене, а если плохо прора- 
ботан соответствующий элемент содержания дис- 
циплины, то необходимо вносить коррективы в 
учебный процесс. В этом плане интересны резуль- 
таты табл. 4, в которой приведены показатели вы- 
полнения заданий студентами теплоэнергетиче- 
ского факультета на экзамене весной 2004 г. 


Таблица 4. Выполнение экзаменационных заданий студентами 
разных групп теплоэнергетического факультета, % 


Те- 

мы 

Группы | 

Г-6130 

Г-6231 

— 1 

СП 

Г-6431 

Г-6432 

Г-6433 

Г-6А31 

Г-6А32 

— 1 

ОТ 

В 

і 

53 

81 

35 

58 

25 

50 

47 

57 

40 

2 

59 

65 

60 

72 

70 

37 

71 

64 

65 

3 

62 

71 

57 

69 

58 

62 

86 

69 

67 

4 

34 

63 

46 

44 

37 

46 

50 

35 

47 

5 

40 

57 

35 

55 

45 

43 

57 

50 

47 

6 

28 

68 

46 

75 

70 

43 

57 

50 

62 

7 

31 

65 

25 

52 

54 

37 

60 

54 

50 

8 

34 

44 

14 

25 

25 

21 

28 

45 

27 

9 

31 

39 

14 

25 

8 

28 

34 

38 

32 

10 

31 

68 

35 

30 

54 

40 

73 

45 

57 

11 

56 

65 

42 

58 

45 

50 

73 

61 

57 

12 

31 

57 

32 

52 

70 

25 

63 

61 

35 


Как видно из этой таблицы, показатели выпол- 
нения заданий по одной и той же теме студентами 
разных групп одного курса одного и того же фа- 
культета сильно различаются, что должно быть 
предметом анализа деканатом, обеспечивающей и 
профилирующей кафедрами, лектором потока, ку- 
раторами студенческих групп. 

Испытания экспериментальной тестовой си- 
стемы итогового контроля (экзамена) подтвержда- 
ют её главное преимущество - объективность. Все 
преподаватели отмечают полное или почти полное 
соответствие результатов экзамена прогнозам, ос- 
нованным на показателях входного контроля и до- 
стижениях студентов в семестре. Никто из лекто- 
ров не выступает за возврат к прежним методам 
проведения экзамена. Студенты также признают 
объективность оценок. Поэтому случаи апелляций 
в конфликтную комиссию единичны. 
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Технологии инженерного образования 


Вместе с тем, испытания показали необходи- 
мость совершенствования новой технологии. Её до- 
работка проводится по следующим направлениям. 

1. Статистическая обработка результатов: вычи- 
сление характеристик заданий и тестов (труд- 
ность, дифференцирующая сила, надёжность 
дисперсия, асимметрия, эксцесс и т.д.), с учётом 
которых необходимо провести их коррекцию. 
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